本文使用Qiskit软件堆栈提出了金融支付行业中的量子支持矢量机（QSVM）算法的第一个端到端应用，用于金融支付行业中的分类问题。基于实际卡支付数据，进行了详尽的比较，以评估当前最新的量子机学习算法对经典方法带来的互补影响。使用量子支持矢量机的特征映射特征来探索一种搜索最佳功能的新方法。使用欺诈特定的关键绩效指标比较结果：基于人类专业知识（规则决策），经典的机器学习算法（随机森林，XGBoost）和基于量子的机器学习算法，从分析中提取了准确性，回忆和假阳性率。 。此外，通过使用结合经典和量子算法的合奏模型来更好地改善预防欺诈的决策，从而探索了混合经典量子方法。我们发现，正如预期的那样，结果高度依赖于用于选择它们的特征选择和算法。 QSVM对特征空间进行了互补的探索，从而在大幅度降低的数据集上拟合了量子硬件的当前状态，从而提高了混合量子古典方法的欺诈检测准确性。
translated by 谷歌翻译
The recent breakthroughs in machine learning (ML) and deep learning (DL) have enabled many new capabilities across plenty of application domains. While most existing machine learning models require large memory and computing power, efforts have been made to deploy some models on resource-constrained devices as well. There are several systems that perform inference on the device, while direct training on the device still remains a challenge. On-device training, however, is attracting more and more interest because: (1) it enables training models on local data without needing to share data over the cloud, thus enabling privacy preserving computation by design; (2) models can be refined on devices to provide personalized services and cope with model drift in order to adapt to the changes of the real-world environment; and (3) it enables the deployment of models in remote, hardly accessible locations or places without stable internet connectivity. We summarize and analyze the-state-of-art systems research to provide the first survey of on-device training from a systems perspective.
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
Understanding the functional principles of information processing in deep neural networks continues to be a challenge, in particular for networks with trained and thus non-random weights. To address this issue, we study the mapping between probability distributions implemented by a deep feed-forward network. We characterize this mapping as an iterated transformation of distributions, where the non-linearity in each layer transfers information between different orders of correlation functions. This allows us to identify essential statistics in the data, as well as different information representations that can be used by neural networks. Applied to an XOR task and to MNIST, we show that correlations up to second order predominantly capture the information processing in the internal layers, while the input layer also extracts higher-order correlations from the data. This analysis provides a quantitative and explainable perspective on classification.
translated by 谷歌翻译
最近的反向散射通信技术使超低功耗无线设备使得在没有电池的情况下操作，同时直接与未修饰的商品无线设备互操作。商品设备在提供未调制的载体时，可以在从其环境中收集能量以执行感测，计算和通信任务的同时需要进行通信的未调制载波。未经调制载波的最佳提供限制了网络的大小，因为它是NP硬组合优化问题。因此，以前的作品要么完全忽略载体优化，要么避免次优启发式，浪费宝贵的能量和光谱资源。我们展示了Deepgantt，这是一种与无线商品互通设备的无电池设备的深度学习调度程序。 Deepgantt利用图形神经网络来克服这个问题固有的变量输入和输出大小挑战。我们培养我们的深度学习调度程序，具有从约束优化求解器获得的相对较小的尺寸的最佳时间表。 Deepgantt不仅优于精心制作的启发式解决方案，而且还在训练有素的问题大小的最佳调度器的3％内执行。最后，DeepGantt推广了超过用于训练的最大值的问题超过四倍，因此打破了最佳调度器的可扩展性限制，并为更有效的反向散射网络铺平道路。
translated by 谷歌翻译
针对边缘设备的实用眼睛认证（EA）系统需要对呈现攻击进行身份验证并强大，同时剩余计算和延迟效率。然而，现有的基于眼框架A）独立地执行认证和呈现攻击检测（PAD），B）涉及提取虹膜区域的显着预处理步骤。在这里，我们使用围绕图像介绍EA和垫的联合框架。虽然深度多任务学习（MTL）网络可以执行任务，但由于EA和焊盘的训练数据集是不相交的，因此MTL遭受遗忘效果。为了克服这一点，我们提出了用垫（眼部）的眼睛认证，一种基于蒸馏的方法，该方法为EA和垫训练了一个网络，同时降低了遗忘的效果。为了进一步提高EA性能，我们介绍了一种名为Eyepad ++的新方法，包括在EA和焊盘数据上训练MTL网络，同时通过额外的蒸馏步骤蒸馏眼网网络的“通用性”。我们所提出的方法优于垫中的SOTA，并在眼睛验证中获得近的SOTA性能，而无需任何预处理。我们还展示了眼部和眼部++在用户到用户验证中的疗效，跨网络骨干网和图像质量。
translated by 谷歌翻译
估计X射线图像上的肺深度可以在临床常规期间提供精确的机会肺部体积估计，并提高现代结构胸部成像技术中的图像对比，如X射线暗场成像。我们提出了一种基于卷积神经网络的方法，允许每像素肺厚度估计和随后的总肺容量估计。使用从5250个真实CT扫描生成的5250个模拟Xco.NoRh，网络培训并验证了网络。此外，我们能够在真正的X线片上推断使用仿真数据训练的模型。对于45名患者，对标准临床射线照相进行定量和定性评估。基于患者对应的CT扫描来定义每个患者总肺体积的地面真理。 45个真实射线照片上的估计肺体积与地基体积之间的平均值误差为0.83升。核算患者直径时，误差会降至0.66升。辅助，我们预测了131 X射线照片的合成数据集上的肺部厚度，其中平均值误差为0.21升。结果表明，可以将在仿真模型中获得的知识转移到真正的X射线图像。
translated by 谷歌翻译
联合学习通过与大量参与者启用学习统计模型的同时将其数据保留在本地客户中，从而提供了沟通效率和隐私的培训过程。但是，将平均损失函数天真地最小化的标准联合学习技术容易受到来自异常值，系统错误标签甚至对手的数据损坏。此外，由于对用户数据隐私的关注，服务提供商通常会禁止使用数据样本的质量。在本文中，我们通过提出自动加权的强大联合学习（ARFL）来应对这一挑战，这是一种新颖的方法，可以共同学习全球模型和本地更新的权重，以提供针对损坏的数据源的鲁棒性。我们证明了关于预测因素和客户权重的预期风险的学习，这指导着强大的联合学习目标的定义。通过将客户的经验损失与最佳P客户的平均损失进行比较，可以分配权重，因此我们可以减少损失较高的客户，从而降低对全球模型的贡献。我们表明，当损坏的客户的数据与良性不同时，这种方法可以实现鲁棒性。为了优化目标函数，我们根据基于块最小化范式提出了一种通信效率算法。我们考虑了不同的深层神经网络模型，在包括CIFAR-10，女权主义者和莎士比亚在内的多个基准数据集上进行实验。结果表明，我们的解决方案在不同的情况下具有鲁棒性，包括标签改组，标签翻转和嘈杂的功能，并且在大多数情况下都优于最先进的方法。
translated by 谷歌翻译